尾花|花萼_相关性Correlations皮尔逊相关系数（pearson）和斯皮尔曼等级相关系数（spearman）

篇首语：本文由编程笔记#小编为大家整理，主要介绍了相关性Correlations 皮尔逊相关系数（pearson）和斯皮尔曼等级相关系数（spearman）相关的知识，希望对你有一定的参考价值。

• Correlations&＃xff0c;相关度量&＃xff0c;目前Spark支持两种相关性系数&＃xff1a;皮尔逊相关系数&＃xff08;pearson&＃xff09;和斯皮尔曼等级相关系数&＃xff08;spearman&＃xff09;。相关系数是用以反映变量之间相关关系密切程度的统计指标。简单的来说就是相关系数绝对值越大&＃xff08;值越接近1或者-1&＃xff09;, 当取值为0表示不相关&＃xff0c;取值为(0~-1]表示负相关&＃xff0c;取值为(0, 1]表示正相关。

• Pearson相关系数表达的是两个数值变量的线性相关性, 它一般适用于正态分布。其取值范围是[-1, 1], 当取值为0表示不相关&＃xff0c; 取值为[-1~0)表示负相关&＃xff0c;取值为(0, 1]表示正相关。

公式

• Spearman相关系数也用来表达两个变量的相关性&＃xff0c;但是它没有Pearson相关系数对变量的分布要求那么严格&＃xff0c; 另外Spearman相关系数可以更好地用于测度变量的排序关系。其计算公式为&＃xff1a;

公式

1. 根据输入类型的不同&＃xff0c;输出的结果也产生相应的变化。如果输入的是两个RDD[Double]&＃xff0c;则输出的是一个double类型的结果&＃xff1b;
   如果输入的是一个RDD[Vector]&＃xff0c;则对应的输出的是一个相关系数矩阵。具体操作如下所示&＃xff1a;

2. 接下来我们先从数据集中获取两个series&＃xff0c;这两个series要求必须数量相同&＃xff0c;这里我们取莺尾花的前两个属性&＃xff1a;

3. 然后&＃xff0c;我们调用Statistics包中的corr()函数来获取相关性&＃xff0c;这里用的是"pearson" 皮尔逊&＃xff0c;当然根据不同需要也可以选择"spearman" 斯皮尔曼等级&＃xff1a;

4. 上面介绍了求两个series的相关性&＃xff0c;接下来介绍一下如何求 [相关系数矩阵]。
   方法是类似的&＃xff0c;首先还是先从数据集中获取一个RDD[Vector]&＃xff0c;为了进行对照&＃xff0c;我们同样选择前两个属性&＃xff1a;

5. 我们调用Statistics包中的corr()函数&＃xff0c;这里也同样可以选择"pearson"或者"spearman"&＃xff0c;得到相关系数矩阵&＃xff1a;默认使用 皮尔逊

package basicstatistics
import org.apache.log4j.Level, Logger
import org.apache.spark.SparkContext
import org.apache.spark.mllib.linalg
import org.apache.spark.mllib.linalg.Matrix, Vectors
import org.apache.spark.mllib.stat.Statistics
import org.apache.spark.rdd.RDD
/**
*
* 相关性Correlations
*
* Correlations&＃xff0c;相关度量&＃xff0c;目前Spark支持两种相关性系数&＃xff1a;皮尔逊相关系数&＃xff08;pearson&＃xff09;和斯皮尔曼等级相关系数&＃xff08;spearman&＃xff09;。
* 相关系数是用以反映变量之间相关关系密切程度的统计指标。简单的来说就是相关系数绝对值越大&＃xff08;值越接近1或者-1&＃xff09;,
* 当取值为0表示不相关&＃xff0c;取值为(0~-1]表示负相关&＃xff0c;取值为(0, 1]表示正相关。
* Pearson相关系数表达的是两个数值变量的线性相关性, 它一般适用于正态分布。其取值范围是[-1, 1], 当取值为0表示不相关&＃xff0c;
* 取值为[-1~0)表示负相关&＃xff0c;取值为(0, 1]表示正相关。
*
* 公式 http://mocom.xmu.edu.cn/blog/58482eb8e083c990247075aa.png
*
* Spearman相关系数也用来表达两个变量的相关性&＃xff0c;但是它没有Pearson相关系数对变量的分布要求那么严格&＃xff0c;
* 另外Spearman相关系数可以更好地用于测度变量的排序关系。其计算公式为&＃xff1a;
*
* 公式 http://mocom.xmu.edu.cn/blog/58482eb3e083c990247075a9.png
*/
object CorrelationsDemo
def main(args: Array[String]): Unit &＃61;
Logger.getLogger("org").setLevel(Level.ERROR)
val sc &＃61; new SparkContext("local[*]", "")
/**
* 根据输入类型的不同&＃xff0c;输出的结果也产生相应的变化。如果输入的是两个RDD[Double]&＃xff0c;则输出的是一个double类型的结果&＃xff1b;
* 如果输入的是一个RDD[Vector]&＃xff0c;则对应的输出的是一个相关系数矩阵。具体操作如下所示&＃xff1a;
*/
// 接下来我们先从数据集中获取两个series&＃xff0c;这两个series要求必须数量相同&＃xff0c;这里我们取莺尾花的前两个属性&＃xff1a;
val seriesX: RDD[Double] &＃61; sc.textFile("/home/rjxy/IdeaProjects/spark/spark_mllib_course/src/main/resources/data/iris.data")
.map(_.split(",")).map(p &＃61;> p(0).toDouble)
val seriesY: RDD[Double] &＃61; sc.textFile("/home/rjxy/IdeaProjects/spark/spark_mllib_course/src/main/resources/data/iris.data")
.map(_.split(",")).map(p &＃61;> p(1).toDouble)
// 然后&＃xff0c;我们调用Statistics包中的corr()函数来获取相关性&＃xff0c;这里用的是"pearson" 皮尔逊&＃xff0c;当然根据不同需要也可以选择"spearman" 斯皮尔曼等级&＃xff1a;
val seriesCorrelation: Double &＃61; Statistics.corr(seriesX, seriesY, "pearson")
println(seriesCorrelation&＃43;" double")
//-0.1594565184858299 spearman
//-0.10936924995064387 pearson 说明数据集的前两列&＃xff0c;即花萼长度和花萼宽度具有微小的 负相关性 。
// 上面介绍了求两个series的相关性&＃xff0c;接下来介绍一下如何求 [相关系数矩阵]。
// 方法是类似的&＃xff0c;首先还是先从数据集中获取一个RDD[Vector]&＃xff0c;为了进行对照&＃xff0c;我们同样选择前两个属性&＃xff1a;
val data: RDD[linalg.Vector] &＃61; sc.textFile("/home/rjxy/IdeaProjects/spark/spark_mllib_course/src/main/resources/data/iris.data")
.map(_.split(",")).map(p &＃61;> Vectors.dense(p(0).toDouble, p(1).toDouble))
//我们调用Statistics包中的corr()函数&＃xff0c;这里也同样可以选择"pearson"或者"spearman"&＃xff0c;得到相关系数矩阵&＃xff1a;
//默认使用 皮尔逊
val dataCorrelation: Matrix &＃61; Statistics.corr(data)
println(dataCorrelation&＃43;"矩阵")















阅读世界，共赴山海


423全民读书节，邀你共读